Trong lĩnh vực Trí tuệ Nhân tạo, mô hình hóa chuỗi chuyển trọng tâm từ các ảnh tĩnh sang luồng dữ liệu thời gian. Các tác vụ học máy tiêu chuẩn thường giả định rằng các điểm dữ liệu là Độc lập và Phân phối Đồng nhất (IID), nghĩa là thứ tự của các mẫu không ảnh hưởng đến kết quả.

Mô hình hóa chuỗi bác bỏ điều này một cách rõ ràng, tập trung vào ba trụ cột chính:

• Vi phạm tính Bất biến Hoán vị: Trong dữ liệu dạng bảng, thứ tự cột là tùy ý. Trong chuỗi, thứ tự là đặc trưng chính. Đổi "Con mèo ăn con chuột" thành "Con chuột ăn con mèo" về cơ bản thay đổi chân lý ngữ nghĩa mặc dù các token giống hệt nhau.
• Tự hồi quy Tính chất: Chúng ta giả định rằng một quan sát tại thời điểm $t$ được điều kiện hóa về mặt toán học trên lịch sử của nó ($t-1, t-2, \dots, 1$). Điều này đòi hỏi xác suất chuyển tiếp để nắm bắt cách thông tin tiến hóa.
• Ánh xạ Độ dài Thay đổi: Không giống như lưới pixel cố định 28x28, các chuỗi như câu hoặc sóng địa chấn là linh hoạt. Các mô hình phải xử lý đầu vào có độ dài $N$ và tạo ra đầu ra có độ dài $M$ bằng cách sử dụng các tham số nhất quán.